а 
рр 
р т. _ аа 
и < 
р Г = 
их 9’ 


.о чём я говорю, а говорю с о. И 
я корректности _ № 
‘работы ко тоя 


_ Сергей Бронников. 


План 


Введение 

Проблемы тестирования НиаЛТ 

Подходы к решению 

хх хх х Неструктурированный фаззинг 
хх х хх Синтаксический фаззинг 
хх Хх х‹ хх Семантический фаззинг 

* хх хх Сравнительный фаззинг 

\ Х Х Х >‹ Тестирование оптимизаций 

® ВЫВОДЫ 


© да. 205 ее А 


Введение 


Тагапоо| 


® Платформа т-тетогу-вычислений 
е® Описание бизнес-логики на ца 
® Используется собственный форк ча ЛТ 


[иаЛТ 


Среда исполнения для Шиа версии 5.1 
е® Трассирующий ЛТ компилятор ГиаЛзтт 
Быстрее, чем референсная реализация: 
о хХ2-х4 без ЛТ-компиляции 
о Х2-х100* с ЛТ-компиляцией 
® Открытый код - лицензия МТ 


Пользователи (ча ЛТ 


у | пин |, Оцасомм 


$7 зпаьь т ПРИ 
Мпесмт |РОМАМИЕ В 


Проблемы 


Проблемы тестирования ГиаЛТ 


е Нет собственного набора тестов для компилятора 
е Новые изменения от автора редко покрываются тестами 
® В процессе эксплуатации Тагатюо! выявляются неприятные баги 


Пример бага: 1иа/ЛТ#528 


> Топитбег("-90.9") -- -9 
> Топитбег("-9") -- 0 


© МЖеРа! соттепе4 оп Оес 8, 2019 Метбег › (> *** 


Ехед. Тпапк$! 


Пример бага: 1иаЛТ#528, спустя два года 


> Топитбег("“-9") -- 0 
> ТопитЬег("-9е1") -- 0 
> ФТопитБег ("-@х0") -- 0 


> ТопитБег("-@9х@р1") -- 9 


© МЖеРа! соттеп!ед оп Зап 15 


ме аддед а ргорег #х. ТПапкК$! 


Метьбег 


|@) ... 


Пример бага: 1иа/ЛТ#505 


1.ор*. $ агЕ ( "По{1оор=1") -- включение агрессивной компиляции 
Фог _ = 1, 20 4 
]1оса1 уа1ие = "абс" 


1оса1 ро$_с = $%&г1тв.+11п49(уа1ие, "с", 1, фгие) 


1оса1 уа1ие2 = $%г1па.5зи6б (уа1ие, 1, ро$_с - 1) 
1оса1 роз_6 = $%г1пв.+1па(уа1ие2, "Б", 2, +гие) 


аз5егЕ(роз_Ь == 2, "РАТЬ: ро$11оп оф 'Б' 15 . роз_Ь) 


епа 


© Мера! соттеп!ед оп Оес 8, 2019 


-хед. ТпапК$! 


Метвег 


© ... 


Тестирование Шиа ЛТ в Тагатоо! 


Регрессионные тесты проекта РУС Ко ца 
|иа-Нате$$ от Франсуа Перра (Егапсо!$ Реггаа) 
Собственные тесты для [ча ЛТ 

Запуск регрессионных тестов на каждый РК 
Покрытие кода тестами: 78% строк, 67% веток 


К ашётисй, Би! ?$ Попе${ могк 


Как мы работаем „$ 


над стабильностью 
нашей реализации Ёиа -- 


Антон Солдатов 


ОМ Н м 
= и : А . : : азы Профессиональная конференция 
ых аа асы разработчиков высоконагруженных 
систем 


Тестирования все еще недостаточно! 


Принципиальные подходы к тестированию Шиа ЛТ 


® Тестирование с помощью примеров (ехатр!е-базея) 
о Тестирование “известного”: данные заранее известны 
о Агапде - А — Аззен 
о Все тесты для Шиа ЛТ 
® Рандомизированное тестирование 
о Тестирование “неизвестного”: данные всегда случайны 
Идеально подходит для тестирования компиляторов 
Есть научные работы, но без особенного успеха 
Есть фаззер для РУС Ко ца 
Часть этого доклада 


о О.о о 


Упрощенная схема фаззинга 


Генератор входных 


данных (х) —» — Программа Кх) 


| 


Инварианты 


Фаззер 


Детальная схема фаззинга 


ЗОТ (Зузет Упаег Тез) 


Мутационный Анализ 
тан —» Выполнение 
ДВИЖОК результатов 


| Покрытие кода | 


Тестовые оракулы 


Г 1 1 


МТ Санитайзеры Логические проверки 


Результаты исследований 


е® ‘МАЧДТШО5: ЕзМпа г Оеер Вид$ миЙ Сгаттаг$” 
о 1 минорный багв РУС Во Шиа 

® “СЕЁМОКЕ: бупПезмхта эЗгисиге мпйе РГи27то” 
о Обагов в РУС Ко [ча 

е ‘Гапдоцаде-Адпоз#с Сепегайоп о! СотрйаЫе Тез{ Ргодгатз” 
о 0багов в РУС Ко ша 


Подходы 


> Неструктурированный фаззинг 
Синтаксический фаззинг 
Семантический фаззинг 
Сравнительный фаззинг 


Тестирование оптимизаций 


Принцип 


® Входные данные: текст из "корпуса" или случайные байты 
® Мутации на уровне байтов: ТпзегЕВут{е, ЕгазеВу*е$ и т.д. 
® Тестовый оракул 

о Санитайзеры: АЗАМ, ЦВ$ап и др. 

о Потребление памяти 

о Время выполнения 


20 


Зае ог Пе ап 


е® АЕ. ++ — фаззинг фреймворк, форк АЕЁ 
® — ПоПОГи77 — фаззинг-фреймворк 
е® ПЮРир2хег — С/С++ библиотека для фаззинга в ММ 
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Реализация для Шиа ЛТ 


Фаззер с помощью 1ЮГи72ег и Шиа С АР! 
Корпус из регрессионных тестов 
Словарь на основе грамматики ша 5.1 


© 
© 
© 
® Этот подход используется в фаззере для РУС Ко 1ша (см. О$З$ Еч22) 
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Неструктурированный фаззинг 


$ Нехаитр гергодисег.1ча 
0000000 001Ь 
0000001 


$ 1ца]1е гергодисег.1ча 
]1ца)1*: 1] _6сгеаа.с:122: и1п{32_ Бсгеаа_Буте (1ех5фа*е *): 


Аз5ег{1оп `1$->р < 15$->ре' фа11ечд. 
АБогфеЯ (соге аитреа) 
$ 


23 


“Неприемлемые” баги для Шиа ЛТ 


зедтаи! оссиг$ мпеп изпд поп-азси при$ #847 


(2) сюзеч Ууе$ С] орепеф 1115 155ие оп Мау 30 : 1 соттеге 


[= Ууе СЛ соттетед оп Мау 30 


То гергодисе: 
./Лиа]1е - < 1.1ща 
тиита!.7р 
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Пример случайной “программы” 


рг1пЕ('Фез1п& $%г1пв5$ апа $%г1пё 116гагу') аззеге('а1о' < 'а1о1') аз5ипс1опеге('' < 
'а') аззег*('а1о\@а1о' < 'а1о\@6Б’) аз5ег*('а1о\@а1о\-\@' > 'а1о\@а1о\@') аз5еге(‘'а1о' < 
'а1о0\0'’) аз5зегЕ(‘а1о\0' > ‘'а9\@'’) аз5егЕ(пот('\0=\р\@\@' ‹ '\0\0\0’)) аззегЕ('\е\е\е' 
<= '\0\0\0\0’) аз5егЕ(пот('\@\@\е\е` <‹= ‘'\0\0\0’)) аз5егЕ(‘\е\е\е’ <‹= ‘'\о\е\е’) 
аззеге('\@\ "\Фоо) == п) аз5е7е(рг1пЕ == п11 апа 4) == "") 1оса1 1оса1ез = { "рЪБ", 
"150-8859-1", "ре ВК" } 1оса1Т ФипсЕ1оп фгуциииииииииичииииииииииииииицици1оса1е (м) ог 
_›, 1 1 1ра1г$(1оса1Ез) 40 1+ о0$.5е%1оса1е(1& м) +Пеп гефигп %гие еп епа гефигп +а15е 
епа 1+ поф {гу1о 1е("со11а*е") ЕПеп рг1пе("1оса1е поф зиррог%еа"”) е15е <= 
а55егЕ("а1о" < "а1о" апа "а1о" < "ато" епа 1+ поф {гу1оса1е("сфурбе") тВеп 
рг1п*("1оса1е поф зиррогфеа") е15е аз5ег*(5+г1пй.в5и6("а1т5х", "фа", "аебив.вежпоокт 
"ххххх") аз5егЕ(5+г1п8.в5иЬ("аА1Т", "#1", "х") == "хАхТ") аз5еге(5%г1п27.в5и6 ("аА1Т", 
"Жи", "х") == "ах1х") аззегЕ(5$%г1пв.ир ег"аА1{хихи "ААТ{ХУХУ}6С0") епа 
05.5е{1оса1е("С") аз 


М Э5еЕ1оса1е() == 'С') аз5егЕ(о$.зе{1оса1и(п11, "питег1с") == 'С') рг1пт*('ОК'’) 
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Рго её Сотга 


Дешевизна и простота реализации 

Высокое покрытие кода при использовании корпуса и словаря 
Негативное тестирование синтаксического анализатора 
Сумасшедшая скорость - 261.000 запусков/сек. 

Нельзя использовать для проверки корректности работы компилятора 


х<<<< 
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Подходы 


Неструктурированный фаззинг 
> Синтаксический фаззинг 

Семантический фаззинг 

Сравнительный фаззинг 


Тестирование оптимизаций 
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Принцип 


® Входные данные: текст из "корпуса" или случайное АЗТ 
® Мутации по грамматике 
® Тестовый оракул 

о Санитайзеры (АЗАМ, ЧВЗап и др.) 

о Потребление памяти 

о Время выполнения 
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Успешные реализации 


е СомиИИ — фаззер для С/С++ 
о “Рпата апа Упаег$апата Видз т С Сотрйегз$” 
о Найдено -325 проблем 
® \УАКРСеп — фаззер для С/С++ 
о “Капаот {ета Гог С апа С++ сотрйег$ мий УАКРСеп” 
о Найдено -220 проблем 
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Реализация для Шиа ЛТ 


ИБРи77ег + [ца С АР! 

ИБРгоюБиЙМ ща юг — библиотека для мутаций Ргоюру+ 
Грамматика Ёца 5.1 в формате Ргоюбу 
Сериализатор для структуры РгоюБч{ 
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Пример случайной программы 


Структура иа-программы в РгоюБ Гиа-программа 


спипКкК { $$аф { 1154 { уаг1154 { уаг { } } ехр115% . 

{ ехр1аз* { ФипсЕ1оп { Боду { Б1оск { спипКк { Фа Мате@ = Фипс1оп ( ) 

{ 115Е { \уаг115& { уаг { } уагз$ { 1шаехпате { 

рге1хехр { ФипсЕ1опса11 +{ рге+Агв$ { рге1хехр { а 

} агёз { фаб1есоп$%гисжог { +1е1911$4 { Е1г5%Е1е1а Мате, Мате@ { М г а 124531, 


{ ехргез$1оп { Б1пагу { 1еф%ехр { з%г: "М" } Б1пор 5 а 
м -0.000000 


{ сопсаЁ: 536870912 } гленехр { питбег: 
9999999999999499999 


2.1245307475328445 } } } } +1е194$ 
ехрге$$1оп { Ь1пагу { 1еРхехр 
"\001\000_\@000\000\009\000\000" } Б1по 
536870912 } г1еИехр { 
-3.7319447282633243е-34 } } } } эер { } } } } } } 
} } Маме : 
"ааачачаачаааачааччачааччачаачаачаачаачаачааачачаачадчаа епа; 

аааачччаачачачачааачааачачаачаа" } } } ехр115% { 

ехр1а$+ { } } } } } } } } } } } зетлсо1оп: гие } 

5фаф { 115% { \аг115% { уаг { } уаг$ { 1пдехпате { 

рге1хехр { ФипсЕ1опса11 { рге+Агв$ { рге1хехр { Матев , Матев . }.Мате 2 Матев 


} агв5 { } } } } Маме: "" } } уаг$ { } } ехр11$+4 { — 
ехр1аз+ { питбег: 2.1210746765136719 }}}}} = 2.121975 
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Нюансы сериализатора Ргофобчу{ 


е Нужно учитывать семантику языка: 
о Не складывать строки: “аветр: {о рейогт агИтейс оп а з{итад уаме” 
о Не вычитать таблицы 
о Не вызывать несуществующие методы: “ацетр: {о паех а п! уаше” 
©) 


® Избегать зацикливания в тестовых примерах 
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Рго её Сотмга 


хх << 


Позитивное тестирование синтаксического анализатора 
Разнообразие синтаксически корректных программ 

Затратно по времени реализации (-1 месяц силами 1 студента) 
Простые мутаторы в ИБРгоюр\Мщаюг 
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Подходы 


Неструктурированный фаззинг 
Синтаксический фаззинг 

> Семантический фаззинг 
Сравнительный фаззинг 


Тестирование оптимизаций 
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Синтаксические мутации 


меняем то, как код выглядит 


$ 


Семантические мутации 


меняем то, что код делает 
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Первая публикация по теме 


Сотр!Иег уа|йааНоп ма едимаептсе тодию три 


\/и Ее, Мейгааа АЕвап, ГВепдопа Зи 


(2014, 384 ссылок) 
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Принцип 


® Входные данные - случайные синтаксически-правильные программы 
® Мутатор изменяет программу без изменения семантики (поведения) 
е Тестовый оракул: 

о Санитайзеры: АЗАМ, УВ$ап и др. 

о Потребление памяти 

о Время выполнения 

о Динамические проверки из корпуса -— а55ег{() 


Успешные реализации 


е® “Ри77: Соуегаде Сиаечд Ри22тоа ог ЧауаЗспрЕ Епдтез$” — Затие! СгоВ 
® “Мопдо0В’$ Чауа$спр: Ти7тхег” - К. Сио 
е ауабспр( Казаег 
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Реализация для Шиа ЛТ 


И6Ри72ег позволяет интегрировать кастомный мутатор 
Интегрируем функцию ЕЕ\ММЕи;2егСифотМифажог() с Шиа 
Используем тиа для мутаций АЗТ и сериализации обратно в ца 
Реализуем мутации на [ца 
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Примеры мутаций 


а = Б апа с _› а = пот пот Ь апа с 


а = Ь + 1 > а (РипсЕтоп() гефигп Б + 1 епа)() 
а = ЬБ + 1 — фог т = 1, 1 да = Ь + 1 епа 


п11 —  со1есфваграве() 


40 


Рго её Сотга 


хх << 


Большее разнообразие программ 

Фокусное тестирование 

Возможность использования логических проверок из корпуса 
Некоторые мутации компилятор может соптимизировать 
Низкая скорость — —500 запусков/сек. 
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Подходы 


Неструктурированный фаззинг 
Синтаксический фаззинг 
Семантический фаззинг 

> Сравнительный фаззинг 


Тестирование оптимизаций 


42 


Первая публикация по теме 


ОШегепна! Тезипа юг ЗоН\маге 


\\Пат М. МсКеетап 


(1998, 490 ссылок) 
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Принцип 


® Генератор со случайными семантически-правильными программами 
® Тестовый оракул — более простая или другая реализация 


44 


Принципиальная схема подхода 


Генератор случайных 
программ 
[В 


ца код + 


Гиаэтт -е °)1%.оп()? 


Гиаэтт -е °)1%.о++()? 


- РИС Во !ша 5.1 Е 


Сравнение 


результатов и 
триаж 
Результаты малоинтересных 


багов. 
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Успешные реализации 


Чауазспре: /и-РисКег, 32 бага 

Криптография: сгур{о{и72, 160 багов 

ОВМ$: ЗОЁапсег, 450 багов 

Ме7рВа, движок для сравнительного тестирования, 772 бага 
Машинное обучение: ОеерхР!оге 


46 


Реализация для Шиа ЛТ 


® 10Ри27ег + Циа С АР! 
® Тестовые оракулы: 


{®) 


(9. 2495 30.0 


Референсная реализация - РУС Ко Шиа 
[ча ЛТ с выключенными оптимизациями 
Санитайзеры: АЗАМ, ЦВ$ап и др. 
Потребление памяти 

Время выполнения 
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Рго её Сотга 


хх << 


Простота реализации теста 

Возможность найти проблемы в деталях реализации 
Не всегда применимо 

Ложноположительные срабатывания 
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Подходы 


Неструктурированный фаззинг 
Синтаксический фаззинг 
Семантический фаззинг 
Сравнительный фаззинг 


> Тестирование оптимизаций 
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Принцип 


Входные данные - генератор с семантически-правильными программами 
Экспортируем ВСЛК (промежуточное представление) 


©) 
О 


С включенными оптимизациями 
Без оптимизаций 


е Транслируем ВСЛК в логические формулы 
® Проверяем эквивалентность обеих формул с помощью ЗМТ-решателя 
Тестовые оракулы: 


©) 


О 
О 
©) 


Санитайзеры: АЗАМ, ЦВ$ап и др. 
Время выполнения 

Потребление памяти 
ЗМТ-решатель 
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Первая публикация по теме 


Т\УОС: А Тгапз|аНоп \Уа|4атог ог ОрНиихта Сотр!Пег$ 


Сагк Ваге{, \! Еапд, Вепатшт Со!аБего, Утд Ни, Ати Рпией & Гепоге Хиск 


(2005, 93 ссылки) 
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Используется в проектах 


(ЕММ: Айуе/А!\е2, -70 багов 
ССС: рузпюсс, 1 баг 

РуРу, 2 бага 

Язык описания контрактов Зойану 
ЗОГ: СозеНа, 3 бага 
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Пример бага от рузптасс: 6СС#106523, не исправлено 


ип5$12тпеа сВаг +7(ип$1епе сПаг х, чп$1епеа 11 у) { 
ип$15пеЧ 11% % =х; 


гефигпт (+ <‹ у) | (% >> ((-у) &7)); 


$ есс рг1906523.с -01 -о рг106523 


1, 6 # 64 
7, 4 # 112 
152, 19 —# 196 |= 4 
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Реализация для Шиа ЛТ 


]1е.оре.$Фаг* (0 

3 Р (9) > |иалт —»> ЭМТ-формула 

Оптимизации выключены ВСВ 

а 5АГили УМФАТ 
1% .ор*.$Фаг*(3) = |иалт —» ЗМТ-формула Ре" 


Уровень оптимизации 3 ВСЛВ 


Оптимизации на схеме ча ЛТ 


Библиотеки 


ЕЕ 


Лексический — Синтаксический : т 
|” = 


* 
иа анализатор анализатор 
Стандартная 
библиотека 
06 ВС-фронтенд ВС_ 
3 интерпретатор : 
| (*.Чазс) Расширения 
| А Е °..............- 
| в Запись трассы 
| “горячих” путей 7 
| Г-----=-=-=-= ‚ Оптимизация К 
| 
| Патчинг ВС у 
Виртуальная машина | Ассемблер 


Экспорт ВС или 1В для анализа == — — = --=-=-=-- 
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Управление ЛТ-компилятором 


1+ 
91+ 
91+ 


914 


чак. 


914 


.ОП() -- включает компиляцию 
.О+Р() -- выключает компиляцию 


.ор*.* -- контроль над оптимизациями 


.Оре.$Фаге(2) -- выбрать уровень оптимизаций 


ор. $Фаг* ("-асе") -- выключить оптимизацию деа4 соде е!ткКайоп 


.Оре. $Фаг* ( "По*1оор=1") -- агрессивно компилировать циклы 
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Что такое 5МТ-решатель? 


“Задача выполнимости формул в теориях (англ. зайзНаыШу тод\цо {Пеопез, 
ЗМТ) — это задача разрешимости для логических формул с учётом лежащих 


9 


в их основе теорий.” — \\ЛКред!а 
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5МТ-решатель: задача 


О :О- 
Ох +[): 12 
©*П-А*©-© 


д-? 


5МТ-решатель: решение 


фгот 23 1троге * 
с1гс1е, зацаге, фг1апё]е = 


$ = $01\ег() 


Ти{$ ('с1гс1е здцаге {г1апё1е') 


5.а4Ч (с1гс1е + с1гс]1е == 19) 
5.аа4(с1гс1е * здиаге + здчцаге == 12) 
5.аа4(с1гс1е * здиаге - +г1апё1е * с1гс1е == с1гс1е) 


рг1и($5.спеск(), $х.тоде1()) 


саф, [+г1апё]1е = 1, зацаге = 2, с1гс1е = 5] 
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Рго её Сотга 


У Математически строгий подход 

/ Фокусное тестирование оптимизаций компилятора 

Хх Сложность в аккуратной трансляции семантики ВСЛК в логические 
формулы 
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Выводы 


Фаззинг — это сложно! 

Фаззинг хорошо дополняет стандартные тесты 
Фаззинг позволяет заменить стандартные тесты 
Фаззинг это полностью автоматическое тестирование! 


61 


/Сергей Бронников 


‚| | Телеграм: @Идиупо _. 


| \ '\ |\ о | ий 
‚ | 'Слайдыи материалы: 


‚бгпКм.ги/2022 | 
| | | Й | | | 
| | |\ \ 


Й ‚Голосуй за мой доклад! 


/ 7 , | ++ | | 


не | Ноа" > 


‚ 2022 


Список найденных багов в Шиа ЛТ 


е® "Аззещоп `[$->р < |$->ре' тайеа: |_Ьсгеа4.с:122: ит 32_4 
бБсгеаа_Б;\е(1ех а \*)" ТМТ#4824 
“Ех паго\ипад о ипагу пти$.” ТМТ#6976 
“Аззецюп "гаигп БУесоде ехрецеа" Тайе4 мПеп ехк оп еггог Тот а 
эпарзПо{ Гог зШспечЧ {гасез$.” ЦЧАЛТЯ91З. 
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Секретные слайды 


Пример проверки корректности оптимизации в ВСЛК 


Пример: программа на ца 


1оса1 ФипсЕ1опт 11() 


1оса1 Б 
Фог 1 = 1, 3 4 
Ь = 20 -- присвоение константы 
епа 
гефиги Б 


епа 


ВСЛК без оптимизации: 1чца1е -]ачтр=-т -0@ -ОПо{1оор=1 ехатр1е.1ча 


ВСЛК с оптимизациями: 1ца]1 -)ачтр=-т -03 -ОПо{1оор=1 ехатр1е.1чца 
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Пример: ВСЛК без оптимизации 


---- ТААСЕ 1 $агЕ ехатр(е. [иа:9 
0006 К$УНОКТ 90 20 

0007 — РОКЕ 1 => 0006 

---- ТКАСЕ 1 ТВ 

0001 пит 520ОАБ #2 Т 

0002 пит АОО 0001 +1 

0003 > пит 1Е 0002 +3 

0004 пит СОМ +20 — пит. 1 
---- ТААСЕ 1 $®ор -> [оор 
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Пример: ВСЛК с оптимизацией 


---- ТААСЕ 1 $®агЕ ехатр(е. [иа:9 
0006 К$ФНОКТ 90 20 

0007 —РОВЬ 1 => 0006 

---- ТКАСЕ 1 ТК 

0001 Т1иЕ $Е10А0 #2 СТ 

0002 + 11 АОБ 0001 +1 


0003 > 1те ЕЕ 0002 +3 
0004 ------ Я 9 Е 
0005 + 11 АОО 0002 +1 
0006 > 1те ЕЕ 0005 +3 


0007 Ти РНТ 0002 0005 
---- ТААСЕ 1 $®ор -> [оор 


Три правила преобразования кода в 5МТ-формулу 


ЗЗА-форма | Встраивание функций | рабрувания вить 
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Пример: ЭМТ-ШВ без оптимизации 


‚ объявляем переменные 
(4ес1аге-соп$* Ь1 Тп®) 
(4ес1аге-соп$* Ь2 ТпЕ®) 

‚ разворачиваем цикл (1оор ипго!) 
(аззегЕ (= 61 20)) ; итерация 1 


(аззегЕ (= 62 20)) ; итерация 2 
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Пример: ЭМТ-ЫВ с оптимизацией 


(аес1аге-соп$* Ь3 Тп®) 


(аззегЕ (= 63 20)) 
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Пример: проверяем эквивалентность 


‚ проверяем равенство значений, возвращаемых из функции 
(аззегЕ (= 63 Ь2)) 
(спеск-5а*) 


(веф-тоае1) 


$ 73 73 ехатр1е. $т* 


5аЕ 
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